Обзор базовых инструментов для тематического моделирования текстовых коллекций
Романенко Александр (МФТИ (ГУ))
aleksandr.romanenko@phystech.edu
ВМК МГУ, 17.02.2017
Предисловие¶
Задача тематизации и рекомендации контента Постнауки: https://www.postnauka.ru
О чем эта лекция?¶
- Работа с текстовыми коллекциями: опыт и практические советы
- Рекоммендации по планированию экспериментов
- Базовые возможности библиотеки BigARTM
- Анализ построенной тематической модели: инструменты и советы
Зачем эта лекция?¶
Правильная подготовка экспериментов позволяет (или может позволить) добиться:
- улучшения получаемых результатов
- ускорения экспериментов (увеличения их количества) => п. 1
- воспроизводимости экспериментов
- удобной интерпретации и презентации результатов
- возможности понимания и повторения эксперимента другими людьми с минимальным участием экспериментатора
Структура изложения¶
- Предобработка данных
- Построение моделей
- Анализ результатов
Предобработка данных¶
"Сейчас быстро перегоню тексты в Vowpal Wabbit, и надо пробовать строить модели..."
Если эксперимент пилотный или тестовый - ОК.
Если эксперимент в рамках проекта - так делать НЕЛЬЗЯ.
Невнимательное отношение к данным может привести к печальным последствиям (не только в ТМ, но и вообще в ML). Для правильного построения дальнейшей работы важно:
- корректно преобразовать данные в понимаемый Вами формат.
- изучить структуру данных, статистические характеристики и проч.
Форматы данных бывают какие угодно:
- База данных или её дамп.
- Наборы текстовых файлов или один файл с текстами.
- То же самое в json/xml/protobuf...
- Могут быть вообще сырые pdf, html...
Внутри каждого описанного типа данные могут иметь совершенно произвольный вид, то есть написать универсальный парсер данных в Vowpal Wabbit невозможно.
Задача парсинга ложится на пользователя.
Совет: нужно внимательно посмотреть на данные, поискать особенности и ошибки в самих данных!
Как можно посмотреть на данные?¶
- Можно прямо из Python
with [codecs.]open(data_filename ...).
При поиске закономерностей удобно использовать регулярные выражения (модульre)
Помните: для стандартных форматов:json,xml, дампы баз данных есть готовые модули для работы, не тратьте время на изобретение велосипедов. - В Linux/Mac OS можно пользоваться разными терминальными командами:
less,head,tail. - В Windows удобно использовать графический редактор EmEditor (позволяет открывать гигантские файлы, таблицы, умеет работать с tab-ами и запятыми).
Совет: преобразования данных лучше проводить поэтапно, сохраняя промежуточные результаты
Данные надо поправить так, чтобы:
- все компоненты легко отделялись друг от друга (раздельные сеператоры внутри групп и между группами).
- все неполные данные были либо дополнены какими-то значениями, либо удалены из выборки.
- все ненужные данные должны быть удалены.
Если данных много, и из общей схемы парсинга выбиваются доли процента от числа документов -- можно их выбросить и не тратить время.
Пример: коллекция постов Постнауки
import glob
filelist = glob.glob('./data/files/*')
print(u"Число документов: {}".format(len(filelist)))
print filelist[:5]
import codecs
with codecs.open(filelist[0],'r','utf-8') as f:
lines = []
for line in f:
lines += [line.strip()]
doc = u" ".join(lines)
print doc
Основные этапы предобработки¶
- Нормализация текста
- Выделение в тексте n-gramm (термины, именованные сущности, коллокации и т.д.)
- Работа со словарем коллекции и самой коллекцией
- Конвертация в один их поддерживаемых BigARTM форматов
Нормализация текста¶
- перевод текста в нижний регистр
- токенизация - разделение текста на токены, элементарные единицы текста
- стемминг/лемматизация - приведение токенов к некой унифицированной начально форме
Токенизация¶
- средства NLTK:
nltk.tokenize - по правилам (разделение по пробелам и знакам пунктуации)
Пример. Русский язык
import re
# для русского языка
text_ru = doc.lower()
text_ru = re.sub(u'([^a-zа-яё]+)',u' \\1 ',text_ru.lower())
text_ru = re.sub(u"\s+",u" ", text_ru).strip()
print text_ru.replace(u' ',u'|')
Пример. Английский язык
# для английского языка
text_en = u"Where is your spoon, daddy?"
text_en = re.sub(u'([^a-z]+)',u' \\1 ',text_en.lower())
text_en = re.sub(u"\s+",u" ", text_en).strip()
print text_en.replace(u' ',u'|')
Стемминг¶
СТЕММИНГ - нормализация слов путем отбрасывания окончаний (согласно правилам, основанным на грамматике языка)
Стеммеры (nltk)
Примеры работы стеммеров:
машины -> машин
дело -> дел
гости -> гость
loving -> love
stemming -> stem
says -> say
why -> whi
Лемматизация¶
Лемматизация - приведение слов к начальной морфологической форме (с помощью словаря и грамматики языка)
Лемматизаторы
- pymorphy2 (язык русский, украинский)
- mystem3 (язык русский, английский?)
- Wordnet Lemmatizer (NLTK, язык английский, требует POS метку)
- Metaphraz (язык русский)
- Lemmatizer.org (сайт уже не существует... язык русский)
- Coda/Cadenza (языки русский и английский)
Пример. Английский язык
import codecs
import pymorphy2
import nltk
from nltk.corpus import wordnet
from nltk.stem import WordNetLemmatizer
def get_wordnet_pos(treebank_tag):
if treebank_tag.startswith('J'):
return wordnet.ADJ
elif treebank_tag.startswith('V'):
return wordnet.VERB
elif treebank_tag.startswith('N'):
return wordnet.NOUN
elif treebank_tag.startswith('R'):
return wordnet.ADV
else:
return wordnet.NOUN
wnl = WordNetLemmatizer()
doc = text_en.split(u" ")
print [wnl.lemmatize(w,get_wordnet_pos(pos)) for w,pos in nltk.pos_tag(doc)]
Пример. Русский язык
pymorph = pymorphy2.MorphAnalyzer()
temp = []
for word in text_ru.split(u' '):
if not re.match(u'([^a-zа-яё]+)',word):
word = pymorph.parse(word)[0].normal_form
temp += [word]
print u"|".join(temp)
Выделение энграмм¶
Можно выделять:
- термины
- именованные сущности (person, location, date, organization, ...)
- коллокации - словосочетания, имеющие признаки синтаксически и семантически целостных единиц
Как это можно делать:
- С помощью словарей n-gramm
- ML алгоритмы сегментации и разметки последовательностей (HMM, MEMM, CRF, RNN, LSTM), настроенные на конкретную задачу
- Энграммер Царькова Сергея
- Статистическое выделение n-gramm. Например, объединение 2-х униграмм в биграмму по порогу PMI.
Ngrammer по мотивам статьи El-Kishky et al, Scalable Topical Phrase Mining from Text Corpora // 2014
Мой код.
Что реализовано:
- возможность задавать максимальную длину n энграммы
- с помощью двух гиперпараметров можно подкрутить точность/полноту выделения энграмм
- возможность "дообучиться" - собрать в энграммер статистику по нескольких корпусам
- возможность сохранить и загрузить с диска состояние энграммера
- можно задать список токенов, которые не могут входить в энграммы (стоп-слова)
- можно задать список регулярных выражений, описывающих токены, которые не могут входить в энграммы (пунктуация)
import os
os.sys.path.append("/home/alex/workspace/tm_nlp/")
from tools import ngrammer
ng = ngrammer.NGrammer()
delimiters = loadFileAsStringArray('stop-words-ru.txt')
ng.delimiters = delimiters # delimiters - это list или dict содержащий слова разделители
delimiters_regex = [u'[^a-zа-яё ]+']
ng.delimiters_regex = delimiters_regex # delimiters_regex - это список regex, описывающий разделители
ng.frequentPhraseMining(corpus_text,threshhold=15,max_ngramm_len=5) # собираем статистику по корпусу текстов corpus_text
ng.saveAsJson('ngrammer_stat.txt',True) # сохраняем состояние энграммера
ng = ngrammer.NGrammer()
ng.loadFromJson('ngrammer_stat.txt',True) # загружаем предварительно сохраненное состояние из файла
res = ng.ngramm(doc, threshhold=5.0) # обрабатываем документ doc. threshhold - порог, который можно покрутить
res = ng.removeDelimiters(res) # можно выкинуть из результата работы слова разделители
Примеры энграмм:
1741 - точка зрение
700 - чёрный дыра
689 - русский язык
563 - речь идти
510 - xx век
476 - крайний мера
464 - xix век
462 - большой количество
440 - друг друг
434 - дать случай
392 - нейтронный звезда
381 - огромный количество
364 - мировой война
297 - элементарный частица
202 - начало xx век
191 - собрать хороший выступление
169 - рассказывать доктор физикий
127 - общий теория относительность
99 - конец xix век
97 - большой адронный коллайдер
89 - физика элементарный частица
78 - вопрос отвечать кандидат
72 - сверхмассивный чёрный дыра
70 - середина xix век
Анализ коллекции и словаря¶
Итак, мы сделали предобработку коллекции: токенизировали, лемматизировали текст, выделили ngramm'ы, сохранили все это в удобном и понятном формате.
Теперь надо посчитать и изучить различные статистики корпуса, подготовить коллекцию в целом для тематического моделирования
Базовые вещи, на которые всегда надо смотреть:
- Число документов в коллекции.
- Объём словаря.
- Распределение длин документов, средняя длина документа.
- Суммарная длина коллекции.
Мой код. Класс Collection позволяет выполнять основные действия с коллекциями
Входные форматы данных:
- UCI
- Набор файлов. Представление документа - это одна строка. Элементы словаря разделены пробелами. Шаблон имен файлов:
`имя_коллекции.имя_модальности.postfix` Например:
pn.ngramm.txt
Загружаем коллекцию
from tools import Collection
# конструктор может быть пустой или принимать пути до файлов vocab или docword UCI формата
collection = Collection.Collection()
collection.verbose = True
collection.load_split_modality_files('pn','./data/pn_all/')
print "Длина словаря:",collection.get_vocabulary().size()
Считаем частоты слов
tf_df = collection.tf_df('ngramm')
tf_df = sorted(tf_df.items(),key=lambda x:x[1][0],reverse=True)
voc = collection.vocabulary
for k,v in tf_df[:40]:
print u"{0:<40}{1}".format(voc.get_word(k)[0],v[0])
Закон Ципфа, распределение частот слов
import matplotlib.pyplot as plt
%matplotlib inline
plt.plot([tf[1][0] for tf in tf_df[:100]],linewidth=2)
plt.ylabel(u'Frequency')
plt.xlabel(u'Rank')
plt.title(u"Zipf's law")
Закон Хипса, статистика по линам документов
len2len = {}
for doc_id in collection.docword:
bow = collection.get_document(doc_id,None,doc_type='BOW')
len2len.setdefault(sum(bow.values()),[])
len2len[sum(bow.values())] += [len(bow)]
srtd_len = sorted(len2len.items(),key=lambda x: x[0])
doc_len1 = [x[0] for x in srtd_len]
doc_len2 = [sum(x[1])/len(x[1]) for x in srtd_len]
plt.plot(doc_len1,doc_len2,linewidth=2)
plt.ylabel(u'# distinct tokens')
plt.xlabel(u'Length of document')
plt.title(u"Heaps' law")
Гистограмма распределения длин документов коллекции
import numpy as np
X = np.arange(len(len2len))
plt.bar(X, [len(x) for x in len2len.values()], align='center', width=0.5)
plt.xticks(np.arange(1, len(len2len.keys()), len(len2len.keys()) / 5))
ymax = max([len(x) for x in len2len.values()]) + 1
plt.ylim(0, ymax)
plt.xlabel(u'Length of document')
plt.ylabel(u'# of documents')
# plt.show()
Фильтруем словарь¶
stopwords = {}
with codecs.open('stopwords-ru_pymorphy.txt','r','utf-8') as f:
for line in f:
stopwords[line.strip()] = 1
regex = re.compile(u'[^a-zа-яё ]+')
min_tf = 6
max_tf = 5000
min_length = 3
max_length = 20
to_remove = []
for idx,[tf,df] in tf_df:
word = voc.get_word(idx)[0]
if tf <= min_tf or tf >= max_tf \
or len(word) <= min_length or len(word) > max_length \
or regex.match(word) or stopwords.has_key(word):
to_remove += [idx]
print "Число документов на удаление:", len(to_remove)
collection.remove_words(to_remove)
print "Длина словаря:",collection.get_vocabulary().size()
Удаляем очень короткие документы¶
len2len = {}
min_length = 30
to_remove = []
for doc_id in collection.docword:
doc = collection.get_document(doc_id,None)
if doc.length() < min_length:
to_remove += [doc_id]
print "Число документов на удаление:", len(to_remove)
collection.remove_documents(to_remove)
print "Длина коллекции в документах:",collection.size()
После фильтрации словаря и документов¶
tf_df = collection.tf_df('ngramm')
tf_df = sorted(tf_df.items(),key=lambda x:x[1][0],reverse=True)
plt.plot([tf[1][0] for tf in tf_df[:200]],linewidth=2)
plt.ylabel(u'Frequency')
plt.xlabel(u'Rank')
plt.title(u"Zipf's law")
Сохраняем коллекцию в Vowpal Wabbit формате
collection.save_as_vw(filename='data/vw/vw_bow.txt',
vocab_filename='./data/vw/vocab.txt',bow=True)
collection.save_as_vw(filename='data/vw/vw.txt',
vocab_filename='./data/vw/vocab.txt',bow=False)
Моделирование¶
Планирование эксперимента¶
Какой нужен код
- Код по загрузке данных
- Код для журналирования результатов экспериментов.
- Код для моделирования.
Стоит описать функции единообразного создания, обучения и оценки модели.
- меньше кода.
- удобнее.
- меньше шансов ошибиться и проще искать ошибку и модернизировать.
def create_model(num_topics, num_processors, params, ...):
...
return model
def train_model(model, num_collection_passes, params, ...):
...
return model
def evaluate_model(model, params, ...):
...
return scores
Стоит описать функцию единообразного сохранения результатов эксперимента.
- меньше кода.
- удобнее.
- меньше шансов ошибиться и проще искать ошибку и модернизировать.
Совет: сохраняйте абсолютно всю информацию, относящуюся к эксперименту.
def save_results(model_name, model, params, scores, elapsed_times, top_words, out_filename, ...):
Внимательно и понятно описывайте параметры экспериментов
params = {}
params['model_name'] = 'postnauka_plsa_200_topics'
params['num_topics'] = 200
params['num_processors'] = 7
params['num_collection_passes'] = 30
...
Пример кода эксперимента:
params = {}
params['model_name'] = 'postnauka_plsa_200_topics'
params['num_topics'] = 200
params['num_processors'] = 7
params['num_collection_passes'] = 30
...
model = create_model(params,...)
time_start = time.time()
model = train_model(model,params,...)
time_end = time.time()
scores = evaluate_model(model, ...)
save_results(model, params, scores, time_start-time_end, '{}_res.txt'.params['model_name'])
BigARTM¶
BigARTM - библиотека тематического моделирования, в которой реализованы основные алгоритмы и функции работы с тематическими моделями.
Внутри BigARTM - обобщенный EM-алгоритм для любого типа моделей.
Структура библиотеки:
- Ядро на C++
- Интерфейсы: command line, C++, python
- Передача данных между ядром и интерфейсом: protobuf
Ключевые особенности:
- Эффективность [Big]:
- Параллельная обработка данных (multithread)
- Необходимость хранения только матрицы $\Phi$, матрицу $\Theta$ хранить необязательно
- Богатая встроенная библиотека регуляризаторов и метрик качества [AR]
- Поддержка многомодальных тематических моделей [TM]
Установка¶
Документация: http://docs.bigartm.org/en/stable/
Документация по установке: http://docs.bigartm.org/en/stable/installation (см. свою ОС)
Этапы установки:
- Python 2/3 + numpy, pandas
- Скачать релиз / git clone
- Установка protobuf
- Для Linux / Mac OS: компиляция ядра
- Установка python-модуля artm
- Добавление artm/bin в PATH (или создание ARTM_SHARED_LIBRARY), artm/python в PYTHONPATH
Также можно воспользоваться образом docker: https://github.com/bigartm/bigartm-docker
Видеоинструкция по установке (для версии BigARTM 0.7.4):
Документация к python интерфейсу: http://docs.bigartm.org/en/stable/tutorials/python_tutorial.html
Формат входных данных¶
Оформление файла с данными¶
Наиболее удобный формат: vowpal wabbit - специальная разметка txt-файла:
- каждая строка - один документ
- первое слово в строке - название документа
- далее через пробел следуют пары слово:количество (слова могут повторяться, :1 можно опускать, счетчики суммируются)
- |слово - название модальности (после него следуют слова этой модальности)
- если название модальности не указано, слова относятся к модальности @default_class
Наиболее простой пример:
тематическое моделирование это метод статистический анализ текстовый коллекция
Пример:
Лекция1 |@text тематическое моделирование это метод статистический анализ текстовый коллекция:2 представляться матрица частота словоИмпорт данных¶
BigARTM преобразует данные во внутренний формат - батчи. Батчи сохраняются в заданную директорию и управляются объектом класса BatchVectorizer.
import artm
source_file = os.path.join("data/vw", "vw.txt")
batches_folder = "data/batches"
if not glob.glob(os.path.join(batches_folder, "*")):
batch_vectorizer = artm.BatchVectorizer(data_path=source_file, data_format="vowpal_wabbit",
target_folder=batches_folder, batch_size=400)
else:
batch_vectorizer = artm.BatchVectorizer(data_path=batches_folder,
data_format='batches')
Сбор словаря
dict_name = os.path.join(batches_folder, "dictionary.dict")
dictionary = artm.Dictionary()
if not os.path.exists(dict_name):
dictionary.gather(batches_folder)
dictionary.save(dict_name)
else:
dictionary.load(dict_name)
Построение модели¶
Объявление метрик качества, снимаемых с моделей
Perplexity (Перплексия)
Перплексия - это мера несоответствия или «удивлённости» модели $p(w|d)$ терминам $w$, наблюдаемым в документах $d$ коллекции $D$, определяемая через логарифм правдоподобия: $$P(D,d)=\exp(-\frac{1}{n}L(\Phi,\Theta))=\exp(-\frac{1}{n}\sum_{d\in D}\sum_{w\in d}n_{dw}\ln{p(w|d)}).$$
scores_list = []
scores_list.append(artm.PerplexityScore(name='PerplexityScore')) # перплексия (перенормированное правдоподобие)
scores_list.append(artm.TopTokensScore(name="top_words",
num_tokens=15,
class_id="ngramm")) # для печати наиболее вероятных терминов темы
Создаем модель
T = 30 # количество тем
model_artm = artm.ARTM(num_topics=T, # число тем
class_ids={"ngramm":1}, # число после названия модальностей - это их веса
num_document_passes=10, # сколько делать проходов по документу
cache_theta=True, # хранить или нет глоабльную матрицу Theta
reuse_theta=False, # если Theta хранится, нужно ли ее вновь инициализировать при каждом проходе
theta_columns_naming="title", # как именовать столбцы в матрице Theta
seed=789, # random seed
scores=scores_list) # метрики качества
Модель нужно инициализировать с помощью словаря. Затем мы сможем ее обучить:
model_artm.initialize(dictionary)
Обучение модели
%time model_artm.fit_offline(batch_vectorizer=batch_vectorizer, num_collection_passes=30)
Изменение перплексии в зависимости от номера прохода по коллекции
plt.plot(model_artm.score_tracker["PerplexityScore"].value[1:])
print "Perplexity:", model_artm.score_tracker["PerplexityScore"].last_value
Выведем списки топ-слов
for topic_name in model_artm.topic_names:
print topic_name + ': ',
for word in model_artm.score_tracker["top_words"].last_tokens[topic_name]:
print word,
print
VisARTM¶
Для анализа более полного анализа модели хочется:
- cмотреть на топ-слова тем и их вероятности
- cмотреть на документы с максимальным значением $p(t|d)$ для темы
- cмотреть на тематические профили документов $p(t|d)$
- cмотреть на тематические профили слов $p(w|t)$ и/или $p(t|w)$
- cмотреть на тематические профили каждого слова в каждом документе $p(t|w,d)$
- видеть похожие документы согласно p(t|d)
- видеть похожие темы согласно p(w|t)
- строить другие всевозможные визуализации...
Основные возможности VisARTM:
- Работа с датасетами
- Несколько форматов данных (и метаданных)
- Опциональная предобработка текстов
- Автоматический сбор статистики по данным
- Конвертация данных в формат BigARTM
- Возможность построения ТМ на веб-сервере (BigARTM)
- Визуализации темпоральных и иерархических ТМ
- Возможность модульного добавления визуализаций
Технические подробности:
- Python 3.4+, Django
- BigARTM
- PostgresQL
Полезные ссылки: